Năm 1469, trấn Sơn Tây đóng ở làng La Phẩm, tổng Thanh Lãng, huyện Tiên Phong, phủ Quảng Oai (nay thuộc xã Tản Hồng, huyện Ba Vì, Hà Nội), thời đó gọi là Sơn Tây Thừa Tuyên.

Đến thời Lê Cảnh Hưng, trấn sở được dời về xã Mông Phụ, huyện Phúc Lộc, phủ Quảng Oai (nay thuộc xã Đường Lâm, thị xã Sơn Tây)

Năm 1822, vua Minh Mạng cho xây thành theo kiến trúc Vauban, nằm giữa thị xã Sơn Tây, trên phần đất của hai làng cổ là Thuần Nghệ và Mai Trai (nay thuộc các phường Quang Trung, Ngô Quyền và Lê Lợi), cách trung tâm Hà Nội khoảng 42 km về phía Đông.

Thành cổ này, trong khoảng thập kỷ 70 - 80 của thế kỷ 19, là một trung tâm phòng bị kháng chiến chống Pháp của quan lại triều đình nhà Nguyễn (với những nhân vật lãnh đạo như: Hoàng Kế Viêm, Lưu Vĩnh Phúc,...) giữa hai cuộc xâm lược Bắc kỳ lần thứ nhất (1872) và lần thứ hai (1883) của Pháp. Thành thất thủ vào tay quân Pháp ngày 16 tháng 12 năm 1883.

Ngày 16 tháng 5 năm 1924, Toàn quyền Đông Dương đã ra nghị định xếp hạng di tích thành Sơn Tây và giao trường Viễn Đông Bác Cổ (nay là Viện Bảo tàng lịch sử trung ương Pháp) quản lý.

Ngày 26 tháng 5 năm 1946, sau khi thăm Trường Võ Bị Trần Quốc Tuấn (lúc đó đóng ở khu vực Bến xe Sơn Tây ngày nay), Chủ tịch Hồ Chí Minh đã gặp mặt và nói chuyện với đồng bào ở thành cổ Sơn Tây.

Tháng 12 năm 1946, một cuộc họp của Chính phủ nước Việt Nam Dân chủ Cộng hòa đã diễn ra ở đây.

Ngày 15 tháng 10 năm 1994, Bộ Văn hóa - Thông tin (nay là Bộ Văn hóa - Thể thao và Du lịch) ra quyết định 2757QĐ/BT công nhận đây là Di tích lịch sử và kiến trúc.[2]